多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录
多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录多模态大模型首次实现像素级推理，指代、分割、推理三大任务一网打尽！
来自主题: AI技术研报
8927 点击 2025-10-17 10:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大模型首次实现像素级推理，指代、分割、推理三大任务一网打尽！
一张图片包含的信息是多维的。例如下面的图 1，我们至少可以得到三个层面的信息：主体是大象，数量有两头，环境是热带稀树草原（savanna）。然而，如果由传统的表征学习方法来处理这张图片，比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer，往往得到的表征只会体现其主体信息，也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
在中国科学院计算技术研究所入选NeurIPS 2025的新论文中，提出了SpaceServe的突破性架构，首次将LLM推理中的P/D分离扩展至多模态场景，通过EPD三阶解耦与「空分复用」，系统性地解决了MLLM推理中的行头阻塞难题。
近年来，NeRF、SDF 与 3D Gaussian Splatting 等方法大放异彩，让 AI 能从图像中恢复出三维世界。但随着相关技术路线的发展与完善，瓶颈问题也随之浮现：
3D 生成正从纯虚拟走向物理真实，现有的 3D 生成方法主要侧重于几何结构与纹理信息，而忽略了基于物理属性的建模。
在这一背景下，清华大学与生数科技（Shengshu AI）团队围绕桥类生成模型与音频超分任务展开系统研究，先后在语音领域顶级会议ICASSP 2025和机器学习顶级会议NeurIPS 2025发表了两项连续成果：
在具身智能领域，视觉 - 语言 - 动作（VLA）大模型正展现出巨大潜力，但仍面临一个关键挑战：当前主流的有监督微调（SFT）训练方式，往往让模型在遇到新环境或任务时容易出错，难以真正做到类人般的泛化
近期，北京大学、哈尔滨工业大学联合 PsiBot 灵初智能提出首个自我增强的灵巧操作数据生成框架 ——DexFlyWheel。该框架仅需单条演示即可启动任务，自动生成多样化的灵巧操作数据，旨在缓解灵巧手领域长期存在的数据稀缺问题。目前已被 NeurIPS 2025 接受为 Spotlight（入选率约 3.2%）
面向自动驾驶的多模态大模型在 “推理链” 上多以文字或符号为中介，易造成空间 - 时间关系模糊与细粒度信息丢失。FSDrive（FutureSightDrive）提出 “时空视觉 CoT”（Spatio-Temporal Chain-of-Thought），让模型直接 “以图思考”，用统一的未来图像帧作为中间推理步骤，联合未来场景与感知结果进行可视化推理。
大模型最让人头疼的毛病，就是一本正经地「瞎编」。过去，只能靠检索补丁或额外训练来修。可在NeurIPS 2024 上，谷歌抛出的新方法SLED却告诉我们：模型其实知道，只是最后一步忘了。如果把每一层的「声音」都纳入考量，它就能从幻觉中被拉回到事实。